SkillResolve-Bench: Measuring and Resolving Same-Capability Ambiguity in Agent Skill Retrieval
SkillResolve-Bench: 衡量与解决 Agent 技能检索中的同类能力歧义
🧭 Agent 技能代表性选择与检索安全 ★ 深度解读
Huawei Technologies Ltd.
提出基准 SkillResolve-Bench 及 SkillResolve 方法，通过同类簇解析与效用学习，消除能力相似但执行有害的技能暴露同时提升有用技能排序
📌 工作参考价值（4 点）
- 同类候选的代表性选择机制可直接迁移：在电商搜索与推荐中，同一品类下常有多个外观相似但适配性不同的商品（如不同型号、版本），可借鉴本文的同类簇解析（Capability Resolver）+ 查询条件化效用评分 + 单代表输出的框架，避免将功能对等但配置过时的物品推给用户，降低体验风险。
- 合同特征(contract profile)增强检索信号：从资源绑定、前置条件、时效范围、输出模式等维度构造确定性对比特征，可嵌入排序模型的特征工程中，提升对版本差异、接口兼容性等执行面差异的区分度，适用于需要精准匹配上下文（如 API 推荐、方案选型）的场景。
- 以“有害暴露率”作为安全补充指标：在 Agent 多智体或生成式推荐中，可增设类似 HSR@K 的指标，监控系统输出的“低风险但错误执行”推荐比例，而不仅看点击/满意度；结合簇内效用竞争，可在不伤害核心召回的代价下大幅抑制风险项曝光。
- 利用易混淆库内负例训练效用模型：使用同一查询下与有用技能相似的但未被采纳的库内候选作为负例进行配对学习，比随机负采样更能让模型学习到细微的上下文区分，对具有丰富标签的电商场景（如真实成交 vs. 高相似度但未转化商品）有直接借鉴意义。